即時快訊
數產署表揚13家友善電商企業推動安心網購 Perky榮獲MUSE國際設計雙銀獎,女性營養品牌累積六項國內外肯定 金門酒廠「一穀作契」100%本土契作好品質 獲得農業部農糧署國產農糧原料酒推薦 「公益同行・原社共好」 29家績優合作社齊聚華山 公彩成果展現就業與福利新動能 孕育兆美元輝達的傳奇美式餐廳 創辦紀念座位牌保留至今 美國屋頂太陽能發電量近十年暴增近五倍 全球運動AI市場名單出爐 日本企業掛零歐美科技巨頭強勢壟斷 創投看好AI降低門檻 一人微型創業成美國就業新趨勢 年末聚會前的輪廓焦慮?醫師 : 「看不出做過」成自然美感新趨勢 印度航太新創搶攻火箭引擎商機 獲利基訂單拚太空產業分工
圖/本報資料庫
科技生活

·6 個月前·葉安庭
#DigitalOcean#Kimi K2.6#月之暗面#AI模型#雲端服務
圖/本報資料庫
圖/本報資料庫
商傳媒|葉安庭/綜合外電報導
摘要

雲端服務商 DigitalOcean 宣布,已在其平台導入月之暗面開發的多模態 AI 模型 Kimi K2.6,並改採基於運行時間、併發性而非傳統權杖數量的計價模式,預期將改變長週期 AI 代理工作負載的成本控制方式,對開發者影響甚鉅。

雲端基礎架構供應商 DigitalOcean 昨日宣布,已在其 AI 原生雲平台(AI-Native Cloud)透過無伺服器推論(Serverless Inference)服務,提供月之暗面(Moonshot AI)所開發的多模態專家混合模型 Kimi K2.6。

Kimi K2.6 是月之暗面推出的開放權重多模態專家混合模型(Mixture-of-Experts, MoE),其總參數規模達 1 兆,激活參數為 320 億,擁有 384 個專家,每個權杖(token)選用 8 個專家,上下文長度高達 256K。該模型在 HLE-Full 智能代理基準測試中獲得 54.0 的分數,顯示其在複雜任務上的卓越能力。

此次整合最關鍵的轉變在於定價模式。傳統上以權杖計價的方式,在應對持續性、長週期智能代理工作負載時,已變得不再適用。由於智能代理工作負載和長週期執行模式,與單次完成任務的使用情境相比,其成本驅動因素已發生改變。

對於 MoE 架構而言,峰值記憶體和運算能力主要取決於專家被調度的方式及激活稀疏度,而非原始的參數數量。此外,長上下文視窗會增加記憶體壓力以及狀態管理的輸入/輸出(I/O)需求。長期運行的或背景智能代理(persistent or background agents)則更著重於持續運行時間,而非一次性提示的費用。

DigitalOcean 透過無伺服器推論服務提供 Kimi K2.6,徹底改變了開發者所面臨的採購與計價變數。這類無伺服器產品通常根據執行時間、併發性以及平台層級的擴展保障來定價,而非單純的權杖計價。對於開發或營運長週期智能代理的開發者而言,應密切監控代理的運行秒數、平均併發數、外部工具調用次數與延遲,以及狀態快照的大小和頻率,以便有效控制成本並優化營運。

這項變革對台灣 AI 開發者而言,意味著未來在託管與部署複雜 AI 模型時,將能更精確地評估與控制成本,特別是對於需要長時間運行或多模態處理的應用,有助於提升開發效率及應用普及。


在 Google 搜尋的熱門報導中優先看到商傳媒
加入為 Google 偏好來源